神经切线核是根据无限宽度神经网络的参数分布定义的内核函数。尽管该极限不切实际，但神经切线内核允许对神经网络进行更直接的研究，并凝视着黑匣子的面纱。最近，从理论上讲，Laplace内核和神经切线内核在$ \ Mathbb {S}}^{D-1} $中共享相同的复制核Hilbert空间，暗示了它们的等价。在这项工作中，我们分析了两个内核的实际等效性。我们首先是通过与核的准确匹配，然后通过与高斯过程的后代匹配来进行匹配。此外，我们分析了$ \ mathbb {r}^d $中的内核，并在回归任务中进行实验。

FP8是加速深度学习训练推论以外的16位格式的自然发展。在本文中，我们提出了一个8位浮点（FP8）二进制互换格式，该格式由两个编码组成-E4M3（4位指数和3位Mantissa）和E5M2（5位指数和2位指数和2位Mantissa）。尽管E5M2遵循IEEE 754惯例代表特殊值的惯例，但E4M3的动态范围是通过不代表无限态，只有一个Mantissa Bit-Pattern来扩展NAN。我们证明了FP8格式对各种图像和语言任务的功效，从而有效地匹配了16位培训课程所达到的质量。我们的研究涵盖了主要的现代神经网络体系结构 - CNN，RNN和基于变压器的模型，使所有超参数与16位基线训练课程保持不变。我们的培训实验包括大型，最多175b参数，语言模型。我们还检查了使用16位格式训练的语言模型的FP8训练后定量化，该格式抗拒固定点INT8量化。

在对关节对象表示表示的工作之后，引入了面向对象的网络（FOON）作为机器人的知识图表示。以双方图的形式，Foon包含符号（高级）概念，可用于机器人对任务及其对象级别计划的环境的理解及其环境。在本文之前，几乎没有做任何事情来证明如何通过任务树检索从FOON获取的任务计划如何由机器人执行，因为Foon中的概念太抽象了，无法立即执行。我们提出了一种分层任务计划方法，该方法将FOON图转换为基于PDDL的域知识表示操作计划的表示。由于这个过程，可以获取一个任务计划，即机器人可以从头到尾执行，以利用动态运动原始功能（DMP）的形式使用动作上下文和技能。我们演示了从计划到使用Coppeliasim执行的整个管道，并展示如何将学习的动作上下文扩展到从未见过的场景。

灵活的任务计划继续对机器人构成艰巨的挑战，在这种机器人中，机器人无法创造性地将其任务计划改编成新的或看不见的问题，这主要是由于它对其行动和世界的知识有限。通过人类适应能力的激励，我们探索了如何从知识图（称为功能对象的网络（FOON））中获得的任务计划，可以用于针对需要在其知识库中不容易获得机器人可用概念的新型问题的新问题。来自140种烹饪食谱的知识是在FOON知识图中构造的，该图用于获取称为任务树的任务计划序列。可以修改任务树以以Foon知识图格式复制配方，这对于通过依靠语义相似性来丰富FOON的新食谱很有用。我们演示了任务树生成的力量，可以在食谱中从食谱中看到的1M+数据集中的食谱中看到，从未见过的成分和状态组合创建任务树的功能，我们根据它们的精确描述了新添加的成分的方式来评估树的质量。我们的实验结果表明，我们的系统能够提供76％正确性的任务序列。

开发智能和自治机器人的主要组成部分是一个合适的知识表示，从中机器人可以获得有关其行为或世界的知识。然而，与人类不同，机器人不能创造性地适应新颖的情景，因为他们的知识和环境严格定义。为了解决叫做任务树的新颖和灵活的任务计划的问题，我们探讨我们如何通过最初在机器人知识库中获得概念的计划。知识图形形式的现有知识用作引用的基本，以创建以新对象或状态组合修改的任务树。为了展示我们方法的灵活性，我们从Recipe1M + DataSet中随机选择了食谱并生成了其任务树。然后用可视化工具彻底检查任务树，该工具描绘了每个成分如何随着每个动作而改变以产生所需的膳食。我们的结果表明，即使对于从未出现之前的成分组合，该方法也可以以高精度生产任务计划。

Increasing the size of a neural network typically improves accuracy but also increases the memory and compute requirements for training the model. We introduce methodology for training deep neural networks using half-precision floating point numbers, without losing model accuracy or having to modify hyperparameters. This nearly halves memory requirements and, on recent GPUs, speeds up arithmetic. Weights, activations, and gradients are stored in IEEE halfprecision format. Since this format has a narrower range than single-precision we propose three techniques for preventing the loss of critical information. Firstly, we recommend maintaining a single-precision copy of weights that accumulates the gradients after each optimizer step (this copy is rounded to half-precision for the forward-and back-propagation). Secondly, we propose loss-scaling to preserve gradient values with small magnitudes. Thirdly, we use half-precision arithmetic that accumulates into single-precision outputs, which are converted to halfprecision before storing to memory. We demonstrate that the proposed methodology works across a wide variety of tasks and modern large scale (exceeding 100 million parameters) model architectures, trained on large datasets.